آیا تاکنون نام robots.txt به گوشتان خورده و به طور همزمان نمی دانستید که چه‌گونه دست به تشکیل داد آن بزنید؟ بخش اعظمی از وبسایت ها دارای پوشه robots.txt می‌باشند، ولی این آیتم بدین مضمون‌ نیست که اغلب وب مسترها معنا آن را بدانند.
در‌این پست ما می‌خواهیم به صورت جامعی به آیتم robots.txt در وردپرس پرداخته و نحوه در اختیار گرفتن و مدیر آن را آموزش دهیم.
فولدر Robots.txt چیست؟ 

دوره آموزش سئو

قبل از آغاز مشاجره اساسی عالی است که آغاز به مضمون‌ واژه robot در اینجا بپردازیم. مراد از robot هرگونه ربات اینترنتیست که به مشاهده وب سایت ها می پردازد. همه گیرترین مثال از این گونه ربات ها، ربات موتورهای جستجوست. این ربات ها به پایش وب پرداخته و به موتورهای جستجو کمک می کنند تا به ایندکس و رتبه بندی صفحه ها وب بپردازند.
به این ترتیب وجود ربات ها در اینرتنت الزامی بوده و دست کم چیز به درد به خوری می باشند. ولی این گزینه نبایست برای وبمسترها این شائبه را ایجاد کند که ربات ها باید فارغ از محدودیت به گردش در سایت بپردازند. عشق به در اختیار گرفتن رفتار ربات ها در وب سایت، منجر به ساخت استانداردهایی در اواسطه دهه 90 میلادی شد. robots.txt راهکار اجرایی این استاندارد می باشد و به شما امداد می کند تا به کنترل چگونگی اخلاق ربات ها در وب سایت بپردازید. شما قادرید که به بلاک کردن ربات ها پرداخته یا دسترسی آنها به بخشی از وبسایت را محدود نمائید.
دقت داشته باشید که شما کارکشته به مجیور کردن ربات ها به تبعیت از دستورات خود نیستید. همواره ربات هایی وجود دارا هستند که این دستورات را نادیده می‌گیرند. حتی ارگان های مشهوری نیز وجود دارا‌هستند که به برخی از دستورها شما در فایل robots.txt بی توجهی می کنند. از جمله گوگل اوامر شما بر اساس فرکانس پایش سایت را نادیده می گیرد.
چرا بایست به فولدر Robots.txt اهمیت دهیم؟
برای اکثری از وبمسترها آیتم robots.txt به دو مورد محدود میشود:
بهینه سازی مصرف منابع موتورهای جستجو در تارنما با عدم پایش و ایندکس بخشی از وبسایت. این‌شیوه به ما اطمینان می هد که موتورهای جستجو تمرکز خود را بر روی مهم ترین صفحات ما گذاشته اند.
بهنیه سازی منابع سرور با بلاک کردن ربات هایی که این منابع را هدر میدهند.
فولدر robots.txt به طور خاص برای در دست گرفتن ایندکس صفحه های در موتورهای جستجو طراحی نشده می باشد
robots.txt طرز جامعی برای کنترل ایندکس صفحه های در موتورهای جستجو نیست. در حالتی که هدف شما خارج کردن برگه ای از ایندکس مورتوهای جستجوست، راهکارهای بهتری مانند متا تگ جدید ایندکس یا دیگر طریق های مشابه وجود دارد.
استدلال این فرمان آنست که فایل robots.txt وبسایت به موتورهای جستجو اعلام نمی کند ورقه ای را ایندکس نکنند، بلکه صرفا موتورهای جستجو آن را پایش نخواهند کرد. با اینکه گوگل دست به پایش آدرس های بلاک شده در robots.txt نمی زند ولی خود گوگل اعلام کرده است که چنانچه این آدرس دارای لینکی در سوا وبسایت شما باشد، این قابلیت و امکان وجود دارد که گوگل دست به ایندکس محتوای آن برگه بزند.
آقای جان مولر عضو گروه گوگل نیز در بیانیه ای تاکید کرده است که در صورت وجود بک پیوند برای یک ورقه بلاک شده، همچنان ممکن میباشد که آن برگه در ایندکس گوگل قرار بگیرد.
تشکیل داد و بازنویسی فایل robots.txt برای وردپرس
وردپرس به صورت اتومات فایل robots.txt را به صورت مجازی ساخت می نماید. براین اساس حتی در حالتی که سمت این مورد نرفته باشید، تارنما وردپرسی شما دارای پوشه robots.txt خواهد بود. برای مشاهده این فایل کافیست که عبارت /robots.txt را به انتهای نام دامین خود اضافه فرمایید. مثلا فایل robots.txt نمونه یک سایت وردپرسی را در ذیل مشاهده میکنید:
چون این فولدر به صورت مجازیست، قابل ویرایش وجود ندارد. در صورتیکه می خواهید دست به دستکاری آن بزنید می بایست آن را به صورت فیزیکی در سرور وب سایت ساخت فرمائید. برای این فعالیت سه روش به شما معرفی میکنیم.

چگونه با به کار گیری از Yoast بهینه سازی اقدام به ساخت و بازنویسی Robots.txt بزنیم؟
در حالتی که از کاربران افزونه محبوب Yoast seo میباشید میتوانید فایل robots.txt را در بخش داشبورد این افزونه ساخت کرده و بازنویسی نمائید.

برای دسترسی بدین قابلیت و امکان به منوی ابزار ها در زیرمجموعه منوی بهینه سازی رفته و بر روی مورد File editor کلیک نمائید.

با فرض اینکه در وب سایت شما فایل robots.txt وجود نداشته باشد، این افزونه به شما پیشنهاد میدهد که آن را تشکیل داد فرمائید.

تنها با کلیک بر این دکمه می توانید اقدام به بازنویسی محتوای پوشه robots.txt در رابط کاربری یواست seo فرمائید.

افزونه سئو Yoast سئو Premium (یواست بهینه سازی)
درپی این نوشته‌علمی به تحقیق بیشتر محتوای پوشه robots.txt خوا هیم پرداخت.

چه‌گونه با به کار گیری از All in One سئو Pack اقدام به تشکیل داد و ویرایش Robots.txt بزنیم؟
در حالتی که شما از افزونه All in One seo Pack برای seo سایت خود به کار گیری می نمایید. قادر خواهید بود که پوشه robots.txt را مستقیما از رابط کاربری افزونه ساخته و دستکاری نمایید. صرفا کافیست که به مسیر All in One سئو → Feature Manager رفته و ویژگی Robots.txt را فعال فرمایید.